Приведенное Вами выражение чаще записывается в современной графике — с буквой и. Кавычки в нем возникают под влиянием специальных текстов (в частности, лингвистических), в которых буквы принято выделять курсивом (так, например, в наших ответах). Однако курсив в названиях букв, записанных словом (бэ, вэ, же, твердый знак, фита, ижица, э оборотное, и десятеричное, и восьмеричное, и краткое, и), как и кавычки, избыточен. Приведем другие примеры фразеологизмов с названиями букв: на ять, писать (выделывать) мыслете, от аза до ижицы, от альфы до омеги, от а до я. Если во фразеологизме необходимо заменить и на i, то кавычки тем более не нужны: иная графика (латиница или вышедшие из употребления буквы кириллицы) — достаточное средство выделения.

Наша общая рекомендация — не выделять букву во фразеологизме ни курсивом, ни кавычками (см. также фиксацию фразеологизма и других названий букв в базе орфографического академического ресурса «Академос»). Но мы не можем не отметить, что иногда от общих рекомендаций приходится отступать под влиянием всего текста, его оформления, расположения на странице. Такие решения принимает редактор.

Выражение на ять (сделать что-либо) означает «сделать на отлично», его происхождение связано с тем, что раньше самой большой трудностью для изучавших русский язык было научиться правильно писать буквы Е и «ять» (когда-то эта буква обозначала особый звук, но позже этот звук совпал с Е, а буква «ять» оставалась на письме, и бедным ученикам приходилось учить наизусть все слова, где был «ять»).  О том, кто легко справлялся с этой премудростью, говорили, что он все делает «на ять». А сегодня это выражение перекликается с оборотом «сделать на пять», т. е. на пятерку.